Harness Updating Is Not Harness Benefit: Disentangling Evolution Capabilities in Self-Evolving LLM Agents
更新架构非受益架构：解耦自进化LLM智能体的两种核心能力
🧭 自进化LLM智能体能力解耦分析 ★ 深度解读
The Pennsylvania State University · UC Santa Cruz · Amazon · Emory University · UIUC
揭示模型更新外部架构（harness-updating）与受益能力（harness-benefit）分别与基础能力脱钩，并指出弱模型受益低源于架构激活与遵循失败。
📌 工作参考价值（4 点）
- 将算力与优质模型优先分配给任务执行 agent，而非 evolver：evolver 模型产生的最终增益差异最多仅 3.1 个百分点，且不单调依赖模型规模；post-evolution 性能主要受 agent 基础能力支配。
- 针对弱模型 agent 强化“架构激活”训练：弱模型（如 Qwen3-32B）的技能加载率仅 25.1%，常因多键格式错误而失败；应设计严格单键的加载动作，或在训练中显式学习“主动查询并注入 harness 组件”的元动作。
- 增强长时域指令遵循能力以维持架构指导：弱模型加载技能后，沿轨迹遵循度从 0.52 骤降至 0.13；可在训练中加入轨迹级指令一致性奖励，或采用分阶段验证来维持 adherence。
- 简化架构交互协议以降低工程摩擦：将 harness 调用设计为显式、单键、机器易解析的动作（如 load_skill 独立 key），避免与推理内容混合，可提升弱模型的激活成功率。